Майнор "Интеллектуальный анализ данных"

Курс "Современные методы машинного обучения"

Лабораторная работа №2. Object Detection.




Часть 1.

Вес в общей оценке - 0.4

В данной части вам нужно решить задачу детектирования фруктов "без классификации". Для этого все три класса нужно объединить в один (нужно внести соотвествующие изменения в датасет).

Что-то с форматом цвета. Я пробовал исправить, но ни одно преобразование не помогает. Общая картина понятна, поэтому ок.

Задание 1.

Примените обученные детекторы из torchvision.models - Faster R-CNN, RetinaNet, SSD (можно только с одним backbone, можно все попробовать) - и оцените качество детекции на тестовом датасете.

Точность хорошая, за исключением SSD, но рисуется много лишнего, после обучения добавим отсеивание по score. Теперь дообучим классификатор сети Faster RCNN. Также попробуем дообучить box regressor, и выберем лучший вариант

Задание 2.

Обучите детекторы из задания выше на обучающем датасете, оцените качество на тестовом. При необходимости, подберите гиперпараметры - optimizer, lr, weight_decay etc.
Выполните обучение в двух вариантах: со случайной инициализацией весов и с загрузкой весов уже обученной модели. Сравните качество.

Задание 3.

Задание 4.

Нарисуйте предсказанные bounding box'ы для любых двух картинок из тестового датасета и каких-нибудь картинок из интернета (релевантных - где есть эти фрукты - и тех, где этих фруктов нет).

Вывод: Модель делает хорошие предсказания, но без NMS рамки дублируются

Задание 5.

Реализуйте и примените Non-maximum Suppression. Оцените (визуально и по метрикам), как его использование влияет на качество детекции.
NB: Чтобы продемонстрировать эффективность применения алгоритма, возможно, нужно будет взять достаточно низкий порог конфиденса.




Часть 2.

Вес в общей оценке - 0.4

Выполните задания 2-5 из предыдущей части для случая 3-х классов (как в изначальном датасете).

Также опять оценим предсказания с Non Max Supression